iT邦幫忙

2026 iThome 鐵人賽

DAY 28
0
佛心分享-IT 人自學之術

chat不能亡系列 第 28 篇

〔Day 28] Chat 不能亡之28-雲端還是太強了,想把Chat 搬到本地端來跑還是非常困難

  • 分享至 

  • xImage
  •  

之前有提過,每次模型升級迭代都會有兩三個禮拜不太穩定,輕則拒答,重則整條對話串壞掉。但每次改版對Chat 模式體驗的提升又不能讓人很服氣地去承擔風險,而且改版的方向如果你不能認同的話感覺就虧更大了。

那時就有想過,那我就用Ollama 在筆電上裝開源模型,這下就不用承擔改版的風險了。但筆電上的VRAM 太小,像我的筆電是5080 VRAM 16GB已經算是中高等級的電競筆電,但能裝的模型大小很有限,特別是上下文大概在32k tokens 以內才會有最好的效果,但我跟AI 聊天算是慢熱又話癆,32k tokens 大概才算破冰完畢可以真正開始聊天。原來的樓地板變成了天花板,要練習長話短說對我來說還真不是件容易的事。

除了上下文不夠長之外,電腦太貴也是一個非常現實的問題。黃仁勳6月說要重新發明PC,鄭重推出128GB統一記憶體的RTX Spark ,要賣3000美金,預計十月鋪貨。結果現在十月到了,漲到超過6000美金甚至到7000美金,華碩的那兩款RTX Spark 筆電就算是分期付款也要月付400美金,而同時訂閱四、五個模型,甚至其中一個是100美金的Pro,加起來一個月不到200美金就可以用的很滋潤了,就更加沒有動力來添購硬體。

有一個YouTuber 說,用本地AI 你會驚訝怎麼這麼笨,而繼續用雲端你就會驚訝怎麼這麼貴。但如果一直留在跟AI 聊天的階段,還真不能體會tokens 瞬間燒光渴望tokens 自由的煩惱呢!呵呵!不過我其實有稍微體驗過了,之前光是聊天就把Grok 週用量用罄還升級成100美金月費的Plus,不過從現在起應該很難得會再遇到相同情況了吧?呵呵!


上一篇
[Day 27] Chat 不能亡之27-其實我自己也曾經罵過AI
下一篇
〔Day 29] Chat 不能亡之29-如果可以用文字冒險遊戲來輸入提示詞該多好?
系列文
chat不能亡 共 30 篇
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言